弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

与传统的头像创建管道相反，这是一个昂贵的过程，现代生成方法直接从照片中学习数据分布，而艺术的状态现在可以产生高度的照片现实图像。尽管大量作品试图扩展无条件的生成模型并达到一定程度的可控性，但要确保多视图一致性，尤其是在大型姿势中，仍然具有挑战性。在这项工作中，我们提出了一个3D肖像生成网络，该网络可产生3D一致的肖像，同时根据有关姿势，身份，表达和照明的语义参数可控。生成网络使用神经场景表示在3D中建模肖像，其生成以支持明确控制的参数面模型为指导。尽管可以通过将图像与部分不同的属性进行对比，但可以进一步增强潜在的分离，但在非面积区域（例如，在动画表达式）时，仍然存在明显的不一致。我们通过提出一种体积混合策略来解决此问题，在该策略中，我们通过将动态和静态辐射场融合在一起，形成一个复合输出，并从共同学习的语义场中分割了两个部分。我们的方法在广泛的实验中优于先前的艺术，在自由视点中观看时，在自然照明中产生了逼真的肖像。所提出的方法还证明了真实图像以及室外卡通面孔的概括能力，在实际应用中显示出巨大的希望。其他视频结果和代码将在项目网页上提供。

点云完成旨在从部分点云中恢复原始形状信息，引起了人们对3D Vision社区的关注。现有方法通常成功完成标准形状，同时未能生成某些非标准形状的点云的本地细节。为了获得理想的当地细节，全球形状信息的指导至关重要。在这项工作中，我们设计了一种有效的方法来借助类内部形状的原型表示区分标准/非标准形状，可以通过建议的监督形状聚类借口任务来计算，从而导致异构组件W.R.T完成网络。代表性的原型（定义为形状类别的特征质心）可以提供全局形状的指导，该指南被称为软性知识，以多尺度方式通过所需的选择性感知特征融合模块注入下游完成网络。此外，要进行有效的培训，我们考虑了基于困难的采样策略，以鼓励网络更多地关注一些部分点云，而几何信息较少。实验结果表明，我们的方法表现优于其他最新方法，并且具有完成复杂几何形状的强大能力。

夜间场景解析（NTSP）对于许多视觉应用是必不可少的，尤其是对于自动驾驶。大多数现有方法都是为了解析白天的现有方法。他们依靠在照明下建模基于像素强度的空间上下文线索。因此，这些方法在夜间场景中表现不佳，因为这种空间上下文提示被埋葬在夜间场景中的过度/暴露区域中。在本文中，我们首先进行了基于图像频率的统计实验来解释白天和夜间场景差异。我们发现，在白天和夜间场景之间，图像频率分布有很大差异，并且了解此类频率分布对于NTSP问题至关重要。基于此，我们建议利用图像频率分布来解析夜间场景。首先，我们提出了一个可学习的频率编码器（LFE），以模拟不同频率系数之间的关系，以动态测量所有频率组件。其次，我们提出了一个空间频率融合模块（SFF），该模块融合了空间和频率信息，以指导空间上下文特征的提取。广泛的实验表明，我们的方法对夜总会，夜城+和BDD100K晚数据集的最先进方法表现出色。此外，我们证明我们的方法可以应用于现有的白天场景解析方法，并在夜间场景中提高其性能。

基于无监督的域适应性（UDA），由于目标情景的表现有希望的表现，面部抗散热器（FAS）方法引起了人们的注意。大多数现有的UDA FAS方法通常通过对齐语义高级功能的分布来拟合受过训练的模型。但是，对未标记的目标域的监督不足，低水平特征对齐降低了现有方法的性能。为了解决这些问题，我们提出了UDA FAS的新颖观点，该视角将目标数据直接适合于模型，即，通过图像翻译将目标数据风格化为源域样式，并进一步将风格化的数据提供给训练有素的数据分类的源模型。提出的生成域适应（GDA）框架结合了两个精心设计的一致性约束：1）域间神经统计量的一致性指导发生器缩小域间间隙。 2）双层语义一致性确保了风格化图像的语义质量。此外，我们提出了域内频谱混合物，以进一步扩大目标数据分布，以确保概括并减少域内间隙。广泛的实验和可视化证明了我们方法对最新方法的有效性。

随着各种面部表现攻击不断出现，基于域概括（DG）的面部抗散热（FAS）方法引起了人们的注意。现有的基于DG的FAS方法始终捕获用于概括各种看不见域的域不变功能。但是，他们忽略了单个源域的歧视性特征和不同域的不同域特异性信息，并且训练有素的模型不足以适应各种看不见的域。为了解决这个问题，我们提出了专家学习（AMEL）框架的自适应混合物，该框架利用了特定于域的信息以适应性地在可见的源域和看不见的目标域之间建立链接，以进一步改善概括。具体而言，特定领域的专家（DSE）旨在研究歧视性和独特的域特异性特征，以作为对共同域不变特征的补充。此外，提出了动态专家聚合（DEA），以根据与看不见的目标域相关的域相关的每个源专家的互补信息来自适应地汇总信息。并结合元学习，这些模块合作，可适应各种看不见的目标域的有意义的特定于域特异性信息。广泛的实验和可视化证明了我们对最先进竞争者的方法的有效性。

基于信息瓶颈（IB）的多视图学习提供了一种信息理论原则，用于寻找异质数据描述中包含的共享信息。但是，它的巨大成功通常归因于估计网络变得复杂时棘手的多元互助信息。此外，表示折衷的表示，{\ it}，预测压缩和足够的一致性权衡，使IB难以同时满足这两个要求。在本文中，我们设计了几种变分信息瓶颈，以利用两个关键特征（{\ it，即}，充分性和一致性）用于多视图表示学习。具体而言，我们提出了一种多视图变量蒸馏（MV $^2 $ d）策略，以通过给出观点的任意输入，但没有明确估算它，从而为拟合MI提供了可扩展，灵活和分析的解决方案。在严格的理论保证下，我们的方法使IB能够掌握观测和语义标签之间的内在相关性，从而自然产生预测性和紧凑的表示。同样，我们的信息理论约束可以通过消除任务 - 求核和特定信息的信息来有效地中和对异质数据的敏感性，从而阻止在多种视图情况下两种权衡。为了验证理论上的策略，我们将方法应用于三种不同应用下的各种基准。广泛的定量和定性实验证明了我们对最新方法的方法的有效性。

Detection Transformer (DETR) and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, the first end-to-end video object detection system based on spatial-temporal Transformer architectures. The first goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow model, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS. In particular, we present a temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal transformer consists of two components: Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder (TDTD) to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (2 %-4 % mAP) on the ImageNet VID dataset. TransVOD yields comparable performances on the benchmark of ImageNet VID. Then, we present two improved versions of TransVOD including TransVOD++ and TransVOD Lite. The former fuses object-level information into object query via dynamic convolution while the latter models the entire video clips as the output to speed up the inference time. We give detailed analysis of all three models in the experiment part. In particular, our proposed TransVOD++ sets a new state-of-the-art record in terms of accuracy on ImageNet VID with 90.0 % mAP. Our proposed TransVOD Lite also achieves the best speed and accuracy trade-off with 83.7 % mAP while running at around 30 FPS on a single V100 GPU device. Code and models will be available for further research.

虽然现有的脸部防欺骗（FAS）方法在域内实验中实现高精度，但由于普遍性较差，它们的效果严重陷入跨域情景。最近，已经探索了多种技巧，例如域泛化和代表性解剖。然而，改进仍然有限有两个问题：1）很难将所有面向共享特征空间的所有面。如果来自未知域的面不映射到共享特征空间中的已知区域，则会意外地获得不准确的预测。 2）很难完全考虑用于解剖学的各种欺骗痕迹。在本文中，我们提出了一个特征生成和假设验证框架来缓解两个问题。最重要的是，在FAS任务中第一次引入生成真实面和已知攻击的假设的特征生成网络。随后，应用两个假设验证模块来判断输入面是否分别来自真实面积和实体面分布。此外，给出了我们框架和贝叶斯不确定性估计之间关系的一些分析，为未知域中的可靠防御提供了理论支持。实验结果表明，我们的框架实现了有希望的结果，优于最先进的公共数据集的最先进的方法。

之前在为人类运动提供合理的限制方面发挥着重要作用。以前的作品在不同情况下遵循各种范式的运动前锋，导致缺乏多功能性。在本文中，我们首先总结了先前运动的不可或缺的特性，并因此设计了一种学习多功能运动的框架，其模拟人类运动的固有概率分布。具体地，对于有效的先前表示学习，我们提出了全局方向归一化，以在原始运动数据空间中删除冗余环境信息。此外，将基于序列的基于段的频率引导引入编码阶段。然后，我们采用去噪培训方案以可学习的方式从输入运动数据中解散环境信息，以产生一致和可区分的表示。在三个不同的任务中嵌入我们的运动前嵌入我们的运动，我们进行了广泛的实验，并且定量和定性结果均表现出我们之前运动的多功能性和有效性。我们的型号和代码可在https://github.com/jchenxu/human-motion-porion -prior上获得。